Self-Attention Guidance

https://gyazo.com/b01758b35d360a487790e2e289255e91

本手法は、拡散モデルから反復毎に中間注意マップを抽出し、ある注意スコア以上のトークンを選択してマスキングとぼかしを行い、部分的にぼかした入力を得るものである。その後、ぼかした入力と元の入力を拡散モデルに与えて得られる予測ノイズの非類似度を測定し、ガイダンスとして活用する。このガイダンスにより、ADM、IDDPM、Stable Diffusionなどの様々な拡散モデルで明らかな改善が見られ、本手法と従来のガイダンス方式を組み合わせることで、さらに結果が改善されることが示された。また、本手法を従来のガイダンスと組み合わせることで、さらに結果が向上することを示した。